!ls -GFlash --color

ipd.Video('new_cars.mp4', width=700) ##upload the video

## Total number of frames in video
cap.get(cv2.CAP_PROP_FRAME_COUNT)

# Video height and width
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)  ##define the height
width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)  ##define the width
print(f'Height {height}, Width {width}')  ##print the height and width

# Get frames per second
fps = cap.get(cv2.CAP_PROP_FPS)  ##calculating the frames per second
print(f'FPS : {fps:0.2f}')  ##print the fps value

cap = cv2.VideoCapture('new_cars.mp4')  ##capturing snips from the video
ret, img = cap.read()  ##reads a frame from the video capture object
print(f'Returned {ret} and img of shape {img.shape}') ##print() is a function that displays a message to the console.
##'f'...' is a string literal that allows for variable interpolation using curly braces {}.
##ret is a boolean value that indicates whether the frame was successfully read or not.

display_cv2_img(img) ##displaying the image

fig, axs = plt.subplots(5, 5, figsize=(30, 20))  ##creates a 5x5 grid of subplots with a given figure size.
axs = axs.flatten()  ## converts the 2D axs array into a 1D array for easier indexing.

cap = cv2.VideoCapture("new_cars.mp4") ##opens the video file "new_cars.mp4" for reading.
n_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) ##gets the total number of frames in the video

img_idx = 0  ##initializes the index of the subplot to display the next frame
for frame in range(n_frames): ##loops over all frames in the video
    ret, img = cap.read()  ##reads the next frame from the video
    if ret == False:  ##checks if there are no more frames to read and exits the loop if so
        break
    if frame % 100 == 0: ##displays only every 100th frame in the subplot
        axs[img_idx].imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))  ##displays the current frame in the appropriate subplot, after converting it from BGR to RGB format.
        axs[img_idx].set_title(f'Frame: {frame}') ##sets the title of the subplot to indicate the frame number
        axs[img_idx].axis('off') ##removes the axis ticks and labels from the subplot
        img_idx += 1  ##increments the index of the subplot to display the next frame

plt.tight_layout()  ## adjusts the spacing between subplots to prevent overlap
plt.show()  ##displays the plot with all subplots
cap.release() ##releases the video capture object to free up system resources

video_labels["category"].value_counts() ##count categories

display_cv2_img(img) ##display the image

img_example = img.copy()
## Create a copy of the last frame read from the video and store it in a new variable "img_example"
## This is done to avoid modifying the original image data, in case we need it later

frame_labels = video_labels.query('video_frame == 1035')
## Query the "video_labels" DataFrame to select only the rows that correspond to frame 1035 of the video
## The resulting subset of the DataFrame is stored in a new variable "frame_labels"

for i, d in frame_labels.iterrows():
    ## Loop through each row in the "frame_labels" DataFrame using the "iterrows()" method

    pt1 = int(d['box2d.x1']), int(d['box2d.y1'])
    ## Get the (x1, y1) coordinates of the top-left corner of the bounding box from the current row
    ## The values are converted to integers and stored in a new variable "pt1"

    pt2 = int(d['box2d.x2']), int(d['box2d.y2'])
    ## Get the (x2, y2) coordinates of the bottom-right corner of the bounding box from the current row
    ## The values are converted to integers and stored in a new variable "pt2"

    cv2.rectangle(img_example, pt1, pt2, (0, 0, 255), 3)
    ## Draw a red rectangle on the image "img_example" using the OpenCV function "cv2.rectangle()"
    ## The rectangle is defined by the top-left and bottom-right corner coordinates, and has a thickness of 3 pixels
    ## The rectangle color is specified as (0, 0, 255), which corresponds to the BGR color value for red

display_cv2_img(img_example)
## Display the modified image "img_example" using the custom function "display_cv2_img()"
## This function converts the BGR color format to RGB and removes the axis labels to make the image more presentable.

color_map = {
    "car": (0, 0, 255),
    "truck": (0, 0, 100),
    "pedestrian": (255, 0, 0),
    "other vehicle": (0, 0, 150),
    "rider": (200, 0, 0),
    "bicycle": (0, 255, 0),
    "other person": (200, 0, 0),
    "trailer": (0, 150, 150),
    "motorcycle": (0, 150, 0),
    "bus": (0, 0, 100),
} ##add numerics

img_example = img.copy() ##copy the image
frame_labels = video_labels.query('video_frame == 1035') ##taking frame number 1035
for i, d in frame_labels.iterrows(): ##initilize for loop
    pt1 = int(d['box2d.x1']), int(d['box2d.y1']) ##inilize pt1
    pt2 = int(d['box2d.x2']), int(d['box2d.y2']) ##inilize pt2
    color = color_map[d['category']] ##differenciate categories
    cv2.rectangle(img_example, pt1, pt2, color, 3) ##applu opencv

display_cv2_img(img_example) ##display images

frame_labels = video_labels.query("video_frame == @frame") ## Selects all the labels of the current frame from the video_labels dataframe and stores them in a new dataframe called frame_labels
font = cv2.FONT_HERSHEY_TRIPLEX  ## Defines the font to be used for text in the image as cv2.FONT_HERSHEY_TRIPLEX
img_example = img.copy() ## Creates a copy of the original image to be used for drawing bounding boxes and labels
for i, d in frame_labels.iterrows(): ## Iterates over each label in the frame_labels dataframe
    pt1 = int(d["box2d.x1"]), int(d["box2d.y1"]) ## Extracts the coordinates of the top-left corner of the bounding box and stores them in a tuple called pt1
    pt2 = int(d["box2d.x2"]), int(d["box2d.y2"]) ## Extracts the coordinates of the bottom-right corner of the bounding box and stores them in a tuple called pt2
    color = color_map[d["category"]] ## Gets the color to be used for the bounding box and label based on the category of the object
    img_example = cv2.rectangle(img_example, pt1, pt2, color, 3) ## Draws a rectangle with the given coordinates and color on the img_example image
    pt_text = int(d["box2d.x1"]) + 5, int(d["box2d.y1"] + 10) ## Calculates the coordinates of the text to be added to the image and stores them in a tuple called pt_text
    img_example = cv2.putText(img_example, d["category"], pt_text, font, 0.5, color) ## Adds the label text to the image at the given coordinates and with the given font, size and color
display_cv2_img(img_example) ## Displays the final image with bounding boxes and labels added
cap.release() ## Releases the video capture object to free up system resources.

!ls -GFlash -color

ipd.Video('out_test_compressed.mp4', width=600)